Frei thi đấu cho Thụy Sĩ ở hầu hết các cấp độ tuổi. Anh ra mắt U16 Thụy Sĩ vào ngày 12/10/2004 trong chiến thắng 3-1 trước U16 Bỉ. Trong 14 trận cho đội tuyển U17 Thụy Sĩ, Frei ghi đến 10 bàn thắng.

Từ 2008 đến 2011, Fabian Frei đã chơi 18 trận cho đội tuyển U21 Thụy Sĩ. Anh thi đấu trận đầu tiên cho U21 Thụy Sĩ vào ngày 19/11/2008 trong trận hòa 1-1 với đội U21 Hy Lạp. Frei là trụ cột của U21 Thụy Sĩ lọt vào chung kết U21 châu Âu năm 2011 và trận chung kết diễn ra vào ngày 25/6/2011, cũng là trận cuối cùng của anh cho U21 Thụy Sĩ

Sau này Frei được huấn luyện viên Ottmar Hitzfeld gọi vào đội tuyển bóng đá quốc gia Thụy Sĩ. Frei đã ra mắt ĐTQG của Thụy Sĩ vào ngày 7/10/2011 tại vòng loại Euro 2012 ở sân vận động Liberty thi đấu với xứ Wales.

Frei thi đấu cho Olympic Thụy Sĩ tại Thế vận hội mùa hè năm 2012. Anh đã thi đấu tất cả ba trận đấu tại giải đấu, nhưng đội bóng xếp vị trí thứ 4 tại bảng đấu nên bị loại.